小红书&上交多模态大模型新基准，Gemini 1.5 Pro准确率仅48%
小红书&上交多模态大模型新基准，Gemini 1.5 Pro准确率仅48%多模态大模型理解真实世界的水平到底如何？
来自主题: AI技术研报
4954 点击 2025-02-13 09:49
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大模型理解真实世界的水平到底如何？
智能体在模拟人类合作行为的捐赠者游戏中表现出不同策略，其中Claude 3.5智能体展现出更有效的合作和惩罚搭便车行为的能力，而Gemini 1.5 Flash和GPT-4o则表现得更自私，结果揭示了不同LLM智能体在合作任务中的道德和行为差异，对未来人机协同社会具有重要意义。
OpenAI再也不是微软的唯一解。第十届GitHub开发者大会上，微软官宣GitHub Copilot同时接入Claude 3.5 Sonnet和Gemini 1.5 Pro两大模型。同时，还发布了0代码开发应用的「魔法」平台。AI代码生成第二阶段已来。
大神卡帕西墙裂推荐！ 甚至预言这个AI应用，有可能开启「和ChatGPT一样大的机会」。 它就是来自谷歌的实验性AI产品，Notebook LM，背后由谷歌现在最强大的模型Gemini 1.5 Pro提供支持。
李笑来曾经说过，学英语最好的方法就是用英语。 而英文播客就是练习英语听力的最佳材料之一，可以一边学知识一边练听力。 但是英文播客有一个不可能三角：我能学到知识、我很关心话题、我能听懂他们说话。 要同时满足这三个条件的播客实在太难找了。 但是最近 Google 做了一个 AI 工具，完美地解决了这个问题。
视频理解仍然是计算机视觉和人工智能领域的一个主要挑战。最近在视频理解上的许多进展都是通过端到端地训练多模态大语言模型实现的[1,2,3]。然而，当这些模型处理较长的视频时，内存消耗可能会显著增加，甚至变得难以承受，并且自注意力机制有时可能难以捕捉长程关系 [4]。这些问题阻碍了将端到端模型进一步应用于视频理解。
这么强的模型，谷歌给大家免费试用。
起猛了，GPT-4o被谷歌新模型超越了！
长上下文大模型帮助机器人理解世界。
斯坦福炒虾机器人团队时隔半年再出新作，谷歌最强Gemini 1.5 Pro加持，Mobility VLA让机器人在836平方米的办公室里轻松导航。